尽管已经提出了有效的体系结构和大量用于端到端图像分类任务的增强,并进行了大量研究,但针对音频分类的最新技术仍然依赖于音频信号的众多表示,以及大型体系结构,罚款,罚款 - 从大型数据集中调整。通过利用音频和新颖音频增强的继承的轻质性质,我们能够提出具有强大概括能力的有效端到端网络。在各种声音分类集的实验中,通过在各种环境中实现最先进的结果来证明我们方法的有效性和鲁棒性。公共代码可在:\ href {https://github.com/alibaba-miil/audioclassfication} {此http url} {
translated by 谷歌翻译
在本文中,我们介绍了ML-解码器,是一种基于新的关注的分类头。 ML-解码器通过查询预测类标签的存在,与全局平均池相比,能够更好地利用空间数据。通过重新设计解码器架构,并使用新颖的组解码方案,ML-Decoder是高效的,并且可以缩放到数千个类。与使用较大的骨架相比,ML-解码器一致地提供更好的速度准确性权衡。 ML-Decoder也是多功能的 - 它可以用作各种分类头的替代品,并在用Word查询操作时概括到未经看的类。新型查询增强进一步提高了其泛化能力。使用ML-Decoder,我们实现了最先进的结果:在MS-Coco多标签上,我们达到91.4%地图;在Nus宽零点上,我们达到31.1%ZSL地图;在Imagenet单一标签上,我们与Vanilla Reset50骨干骨架达到80.7%的新顶级得分,无需额外的数据或蒸馏。公共代码可在:https://github.com/alibaba-miil/ml_decoder
translated by 谷歌翻译
Quantum many-body problems are some of the most challenging problems in science and are central to demystifying some exotic quantum phenomena, e.g., high-temperature superconductors. The combination of neural networks (NN) for representing quantum states, coupled with the Variational Monte Carlo (VMC) algorithm, has been shown to be a promising method for solving such problems. However, the run-time of this approach scales quadratically with the number of simulated particles, constraining the practically usable NN to - in machine learning terms - minuscule sizes (<10M parameters). Considering the many breakthroughs brought by extreme NN in the +1B parameters scale to other domains, lifting this constraint could significantly expand the set of quantum systems we can accurately simulate on classical computers, both in size and complexity. We propose a NN architecture called Vector-Quantized Neural Quantum States (VQ-NQS) that utilizes vector-quantization techniques to leverage redundancies in the local-energy calculations of the VMC algorithm - the source of the quadratic scaling. In our preliminary experiments, we demonstrate VQ-NQS ability to reproduce the ground state of the 2D Heisenberg model across various system sizes, while reporting a significant reduction of about ${\times}10$ in the number of FLOPs in the local-energy calculation.
translated by 谷歌翻译
Estimating uncertainty in image-to-image networks is an important task, particularly as such networks are being increasingly deployed in the biological and medical imaging realms. In this paper, we introduce a new approach to this problem based on masking. Given an existing image-to-image network, our approach computes a mask such that the distance between the masked reconstructed image and the masked true image is guaranteed to be less than a specified threshold, with high probability. The mask thus identifies the more certain regions of the reconstructed image. Our approach is agnostic to the underlying image-to-image network, and only requires triples of the input (degraded), reconstructed and true images for training. Furthermore, our method is agnostic to the distance metric used. As a result, one can use $L_p$-style distances or perceptual distances like LPIPS, which contrasts with interval-based approaches to uncertainty. Our theoretical guarantees derive from a conformal calibration procedure. We evaluate our mask-based approach to uncertainty on image colorization, image completion, and super-resolution tasks, demonstrating high quality performance on each.
translated by 谷歌翻译
决策和计划最复杂的任务之一是收集信息。当状态具有高维度,并且无法用参数分布表达其信念时,此任务就会变得更加复杂。尽管国家是高维的,但在许多问题中,其中只有一小部分可能涉及过渡状态和产生观察结果。我们利用这一事实来计算信息理论的预期奖励,共同信息(MI),在国家的较低维度子集中,以提高效率和不牺牲准确性。以前的工作中使用了类似的方法,但专门用于高斯分布,我们在这里将其扩展为一般分布。此外,我们将降低维度降低用于将新状态扩展到上一个的情况下,又不牺牲准确性。然后,我们继续开发以连续的蒙特卡洛(SMC)方式工作的MI估计器,并避免重建未来信念的表面。最后,我们展示了如何将这项工作应用于信息丰富的计划优化问题。然后在模拟主动大满贯问题的模拟中评估这项工作,其中证明了准确性和时序的提高。
translated by 谷歌翻译
许多具有挑战性的现实世界问题需要部署合奏多个互补学习模型,以达到可接受的绩效水平。虽然有效,但将整个合奏应用于每个样本都是昂贵且通常不必要的。深钢筋学习(DRL)提供了一种具有成本效益的替代方案,其中检测器是根据其前辈的输出动态选择的,其实用性加权其计算成本。尽管它们具有潜力,但基于DRL的解决方案并未在这种能力中广泛使用,部分原因是在为每个新任务配置奖励功能,DRL代理对数据变化的不可预测反应以及无法使用常见的反应的困难。性能指标(例如TPR/FPR)指导该算法的性能。在这项研究中,我们提出了用于微调和校准基于DRL的策略的方法,以便它们可以满足多个绩效目标。此外,我们提出了一种将有效的安全策略从一个数据集传输到另一个数据集的方法。最后,我们证明我们的方法对对抗性攻击非常强大。
translated by 谷歌翻译
矩阵函数可用于重写光滑光谱约束的矩阵优化问题,因为在一组对称矩阵的集合中,不受限制的问题,然后通过立方规范化的牛顿方法求解。事实证明,矩阵函数的二阶链条规则身份可以计算高阶导数以实现立方规范化的牛顿,并为矩阵矢量空间的立方调节牛顿提供了新的收敛分析。我们通过在合成数据集和真实数据集上进行数值实验来证明我们的方法的适用性。在我们的实验中,我们制定了一个新的模型,以估算泰勒的M-估计器(TME)模型的精神估算公平和稳健的协方差矩阵并证明其优势。
translated by 谷歌翻译
自主物理科学领域 - 机器学习指南和从闭环中的实验中学习的领域正在迅速增长。自主系统使科学家能够更聪明,学习速度更快,并在其研究中花费更少的资源。该领域有望改善各种设施的性能,例如实验室,研发管道和仓库。随着自主系统的数量,能力和复杂性的增长,出现了新的挑战 - 这些系统将如何在大型设施中共同运行?我们探索了这个问题的一种解决方案 - 一个多代理框架。我们展示了一个具有1)具有现实资源限制的模拟设施,例如设备使用限制,2)具有多种学习能力和目标的机器学习代理,对实验室仪器的控制以及运行研究活动的能力以及3)网络这些代理可以共享知识并共同努力以实现个人或集体目标。该框架被称为多代理自治设施 - 可扩展的框架又称多任务。多任务允许整个设施的模拟,包括代理启动和代理代理交互。框架模块化使真实世界的自主空间可以阶段上线,模拟仪器逐渐被现实世界的仪器代替。在这里,我们通过模拟材料实验室中的材料探索和优化的现实世界材料科学挑战演示了框架。我们希望该框架在基于代理的设施控制场景中开辟了新的研究领域基于游戏理论。
translated by 谷歌翻译
在元加强学习(META RL)中,代理商从一组培训任务中学习如何快速解决从相同的任务分布中绘制的新任务。最佳的元rl政策,又称贝叶斯最佳行为,是很好的定义,并保证了对任务分布的预期最佳奖励。我们在这项工作中探讨的问题是,需要多少培训任务来确保具有很高可能性的大致最佳行为。最近的工作为无模型设置提供了第一个这样的PAC分析,其中从培训任务中学到了依赖历史的政策。在这项工作中,我们提出了一种不同的方法:使用密度估计技术直接学习任务分布,然后对学习任务分布进行培训。我们表明,我们的方法导致界限取决于任务分布的维度。特别是,在任务分布中处于低维多方面的环境中,我们将分析扩展到使用降低性降低技术并说明这种结构,从而比以前的工作明显更好,这严格取决于状态和行动的数量。我们方法的关键是内核密度估计方法所隐含的正则化。我们进一步证明,当“插入”最先进的Varibad Meta RL算法时,这种正则化在实践中很有用。
translated by 谷歌翻译
我们提出了一种新型的二次编程公式,用于估计群体同步中的损坏水平,并使用这些估计来解决此问题。我们的目标函数利用了组的循环一致性,因此我们将我们的方法称为结构一致性(DESC)的检测和估计。该一般框架可以扩展到其他代数和几何结构。我们的表述具有以下优势:它可以忍受与信息理论界限一样高的腐败,它不需要对小组元素的估计值进行良好的初始化,它具有简单的解释,在某些温和的条件下,我们的全球最小值目标函数准确恢复了腐败水平。我们证明了方法在旋转平均的合成和真实数据实验上的竞争精度。
translated by 谷歌翻译